Từ tháng 7 đến tháng 11/1995 làm Giám đốc Trung tâm Phát triển Nông nghiệp, rồi Viện phó kiêm Giám đốc Trung tâm Phát triển Nông nghiệp thuộc Viện Quy hoạch - Thiết kế Nông nghiệp.
Từ tháng 11/1995 đến tháng 11/1999 làm Vụ trưởng Vụ Chính sách, rồi Vụ trưởng Vụ Kế hoạch - Tài chính của Bộ Nông nghiệp và Phát triển Nông thôn.
Từ tháng 11/1999 đến tháng 2/2003 giữ chức Thứ trưởng Bộ Nông nghiệp và Phát triển Nông thôn Việt Nam.
Từ tháng 3/2003 đến tháng 3/2004 làm Phó Bí thư Thường trực Tỉnh ủy An Giang.
Từ tháng 4 đến tháng 6/2004 đảm nhiệm cương vị Thứ trưởng Thường trực Bộ Nông nghiệp và Phát triển Nông thôn.
Từ tháng 7/2004 đến 11/2004 quyền Bộ trưởng, quyền Bí thư Ban Cán sự Đảng Bộ Nông nghiệp và Phát triển Nông thôn.
Từ 12/2004 đến 07/2016, là Bộ trưởng, Bí thư Ban Cán sự Đảng Bộ Nông nghiệp và Phát triển Nông thôn.
Ông còn là Ủy viên Trung ương Đảng khóa X, XI, XII và là Đại biểu Quốc hội Khoá XII, XIII [1]
Ngày 27 tháng 7 năm 2016, ông thôi chức vụ Bộ trưởng, người kế nhiệm ông là Thứ trưởng Nguyễn Xuân Cường.
